Search AI Products and News

DeepSeek has open-sourced the RWKV-CLIP model, a visual-language representation learner that combines the strengths of both Transformer and RNN architectures. The model has significantly enhanced performance on vision and language tasks by pre-training on image-text pairs sourced from web data, expanding its dataset with information obtained from various websites.To address the issue of noisy data and improve data quality, the research team introduced a diverse description generation framework.

2024年7月19日, RWKV开源基金会全球开源了其最新最强的稠密纯RNN大语言模型RWKV-6-World14B。此模型在性能测试中体现出与拥有213亿个参数的Llama相当的英文性能，并在100多种语言与代码上表现出显著的多语言优越性，支持全球100种以上的语言和代码。RWKV-6-World14B通过基准测试显示了出众的性能，特别是在Uncheatable Eval评测中超越了Llama213B和Qwen1.514B。优点在于，该模型在训练过程中未受特殊优化困扰，基于从RWKV-4到RWKV-6的架构改进。在当前的评价排名中，该模型不仅展示了强大的实际能力，还能够在包括arXiv论文、新闻、ao3小说和GitHub代码等实时数据上进行评估，表明了其在模型能力和泛化能力上的真实性。提供下载的平台有Hugging Face、ModelScope和WiseModel等，不支持safetensor（.st）格式的Ai00用户则可以下载都在Ai00HF仓库中转换的版本。部署所需显存约为10G至28G。此款模型在多个领域展现出潜力，涉及自然语言处理、文学创作、代码处理、学术建议以及教育指令的自动化等复杂的实际应用，并且所有开源的RWKV模型在指令与对话方面有所提供，但尚无专门针对特定任务的优化训练。